备份系统的运维与发展方向，究竟是一体化还是网络化？
社区最近组织活动讨论备份系统的运维与发展，如何根据不同的场景选择合理的备份架构，以下由社区专家潘延晟梳理部分交流分享内容，供大家参考，让大家了解更多的备份手段和方式。
目前很多厂商都推出各自的备份一体机产品，特点是一体化，高度集成，一台主机包括了软件，存储，部署简单快捷，备份界面友好。将原本分散的备份服务器、SAN网络、磁带机、磁盘阵列、虚拟带库等设备“合纵”成一台设备。用最简单的结构来实现对数据的备份。
而另一种以 IBM、EMC、Symantec为主的传统备份软件。以备份软件、服务器、SAN 网络、备份设备组成的备份结构。特点是备份功能强，通过SAN网络将磁带库、磁盘阵列等备份设备“连横”成一个庞大的备份网络。
两种方式都有着各自的优缺点，面对不同的场景，也有着不同的发展前景。
1.更新备份系统，备份一体机与网络化备份各方面的优劣势对比？
可以从以下几方面来考虑。至于两种方式的对比。其实各有千秋，说不上谁好谁不好，也难以分出高低，所以还是根据自己的实际情况来选择：
1，资金，相对来说。备份一体机要便宜一些。而一套完整的备份系统要实现各种需要的授权，价格要相对高一些，
2，技术人员维护能力，备份一体机更像是傻瓜相机，操作相对简单。比较适合运维人员少，没有专门负责数据备份的人员的中小企业，运维人员兼职就可以实现数据的备份。
3，数据备份的需求，备份的数据量大小，备份的类型的多少，复杂程度也会影响你的选择。如果数据增长快，数据庞大，数据类型相对单一，网络化的备份系统具备良好的扩展性，随时可以增加磁盘阵列或者磁带库来扩展容量，也可以通过把更换磁带来长期保存磁带库。，而备份一体机则在扩展性上差了一些。所有东西高度集成。一旦需要更换就必须通过原厂服务。如果时间稍久一些。就有可能面临没有备件更换或者无法扩展的处境。
2.在实际的系统环境中，您更倾向于一体化备份还是网络化备份？
观点1：
目前我们的信息化情况是，资金投入少，业务分散而且版本跨度大，数据类型不集中，维护人员少，虽然大厂商的备份软件基本都能满足我们的备份需求，但在资金投入上却要更高一些，不但要分别购买不同备份授权，还要购买硬件服务器，备份设备来组成备份网络，另外备份软件的操作也要复杂一些。以我们目前的情况来。我更倾向于操作界面简单的一体化设备，来减少我的维护压力实现基本的备份需求。
观点2：
更易理解为一体化备份设备，是完全一体化、自动化、基于磁盘备份的备份解决方案级产品。为客户数据提供完美的保护，实现信息生命周期的全面管理。特性如下：
简化了方案设计
一体化备份产品，从操作系统、备份软件、备份服务器、存储介质等各个方面针对备份系统进行了专门优化，并充分验证产品在各种场景下的兼容性、可 靠性，保证提供的备份方案满足客户的各种需求，并可以根据实际环境灵活配置。
降低建设成本，提高投入产出比
一体化备份产品备份产品，整合了备份系统需要的操作系统、备份软件、备份服务器、存储介质为一体，有效降低了部件成本，节约了客户的资金。
简化安装部署，缩短系统建设时间
一体化备份产品出厂就预先完成了操作系统、备份软件的安装，并预置了部分备份策略，实现了"即插即用"的安装方式，简化了备份系统的安装部署，降低了备份系统建设周期。
管理维护方便，简化了售后服务
一体化备份系统提供ISM统一管理平台，可以在一个管理界面集中管理服务器、磁盘系统、备份软件等相关软硬件信息，减少了管理工作量。此外，还提供了优化过的各种实用文档与在线帮助，内置了关键数据自动备份等多种维护方案，大大降低了维护工作量。
完善的自我保护机制，简化了灾难恢复备份系统是业务数据的最后一道保护屏，其自身的安全也非常重要。
一体化备份产品设计了多种保护机制，操作系统损坏、磁盘故障、硬件故障都可以保证备份数据的安全，并提供快速恢复能力。
3.备份一体化设备备份数据时也是通过SAN网络传输数据吗？与传统备份方式相比有哪些具体优势吗？
观点1：
备份一体化设备备份数据传输是根据备份网络组网架构而定的。但现在备份设备的备份服务器，一体机（全闪存）都是在备份硬件上配置优化（处理器，缓存，系统硬盘类型，备份借口都是千兆网络等因素）
优势：管理维护方便，降低维护工作量等。
观点2：
我们在使用的备份一体机目前是采用千兆的IP网络进行备份的。因为IP网络部署快捷。不会影响到SAN网络的结构。风险也相对娇小。缺点就是会给网络带来一定的带宽压力。
对比传统备份方式。备份一体机的优势我觉得就是简单，部署简单，管理简单，备份简单，恢复简单，当然也不是没有缺点。所有备份数据存在与一台设备中。一旦设备损坏。也会导致备份丢失。扩展能力受限，错误代码不清都是目前我们所使用中感受到的一些问题。
观点3：
我感觉从备份的角度来看，备份数据的传输无非就是san、lan或者和结合硬件快照的备份，如果快照内容入库最终也是lan或san。无论是否用一体机应该都脱不了这个窠臼。
但是备份一体机自然有他的优势，开箱即用，易于维护，内部性能经过厂商优化也有所提升。对备份维护工程师的要求没那么高。
4.海量的非结构数据，比如文档，图片的备份如何提高效率？
观点1：
1.变长块分割技术与数据精准去重
对非结构化数据，特别是海量小文件的备份，采用了变长块分割的重删技术。因为海量小文件的数据变化情况复杂，采用固定块分割，常导致整个备份数据需要重新进行分块，而变长块分割只针对变化的数据做分割处理，解决了固定块分割中把没任何变化的数据重新分块而导致去重率低的问题，不仅大大降低了数据分割处理上对客户端计算资源的占用，并且保障了海量小文件的最佳数据重删效果。
2.多通道并行备份与倍数提升效率
文件备份通道建设上采用了文件索引与数据备份并行处理、多通道并行备份数据采集等技术手段，使备份效率呈倍数提高。就像水库排水时，建设多条水管并行抽水，能够有效提升排水效率一样。
3.文件索引与数据备份并行处理
对于GB数据量级别的文件备份处理，常规做法是在一个进程中进行串行处理：先遍历需要备份的文件，建立文件索引，再进行文件数据备份。但在海量文件数据中，往往存在小文件较多、文件目录层次深等情况，文件遍历并建立索引需要耗费很长时间，以串行方式处理，备份效率低。
对于文件备份的处理，则是把文件索引和数据备份分离到两个不同的进程中并发处理，即系统在遍历文件目录时，一边为文件建立索引，一边对文件进行备份，这样就可以大大缩短文件数据的备份时间和效率。
4.多通道并行数据备份
在对文件进行备份数据采集处理中，采用多通道并行技术，即系统基于流水线方式，在遍历出需要备份的文件，建立文件索引，然后把需要备份的文件信息分片，配送到各个数据备份通道中，备份数据通过多个通道并行传输到存储服务器存储。
多通道并行的处理方式难点在于文件信息分片后通道配送的策略，以及多通道备份后的备份集在恢复时的数据整合处理。利用自研制算法，自动监测通道占用情况，把备份数据均衡分配到各个空闲通道。在数据恢复时，又将根据备份时分片信息把数据恢复到原文件目录中，高效安全。
5.服务端自动合成与少占客户端资源
针对海量文件的备份，尤其是海量小文件的备份，合成备份是最佳的备份策略。解决了传统周期性“完全备份+增量备份”策略存在备份时间长、大量占用了客户端主机计算资源、I/O资源和网络资源、影响核心业务的正常运行等系列问题。
对文件进行合成备份，即执行一次完全备份，后续每次进行增量备份。简单来就，就是将会基于第一份全量备份数据和随后的增量备份集进行合并，生成新的全量备份数据，然后，再定时把新生成的全量备份集和增量数据集进行合并，再生成新的全量备份数据，以此循环处理
观点2：
目前我们面临这样的问题。海量的细小文件。备份起来效率低下。速度非常慢。
似乎现在一个比较有效的方式是对整体磁盘进行镜像备份来提高备份速度，但存在的问题就是无法对文件进行颗粒度的恢复，一旦某个文件出现问题。可能恢复起来就很麻烦。另外还有一种方式就是对需要备份的海量文件进行打包，然后备份，但打包同样需要消耗大量的系统资源，只是耗费的时间从备份上改为了在系统打包上。这种方式对恢复也会造成一定的压力，通钢无法对文件进行颗粒度的恢复。
5.虚拟化环境中，备份虚拟系统和按传统方式备份虚拟系统中的数据对比有哪些优劣？
观点1:
最大的区别就是系统和系统数据：前者是将整个系统进行备份，后者是将数据拷贝备份。
openstack中虚机备份主要将系统根磁盘进行备份，有全量和增量备份，方式不同，实现的功能一样。
这种备份属于镜像备份，将虚机根磁盘打包成镜像并上传到glance，恢复时用该镜像创建虚机即可。
观点2：
备份虚拟系统一般是指整体备份，即将虚拟机以及操作系统和系统中的应用进行整体备份，恢复的时候也是整体恢复。备份虚拟系统中的数据，一般仅仅针对系统中的数据进行备份，备份的颗粒度、对象与前者不同，恢复的时候也只能恢复虚拟系统中的数据，这两者备份的场景不同，前者一般处于系统级别的灾备，后者处于数据级别的一个数据保护备份吧！
6.如何构建一个统一的，灵活扩展的，使用方便的备份系统？
观点1：
应体现以下因素：
1.备份服务器系统的稳定性，可用性。
2.备份软件网络带宽稳定性。
3.备份软件使用方便，快捷高效性，操作方便性，报表功能突出，容量管理清楚条理化，功能及策略操作导向性。
观点2：
通过一套强大的备份一体机来进行，实时，在线数据，短期的数据备份，实现快速部署，快速备份，方便管理，方便备份和恢复，甚至有些备份一体机支持直接挂载本机数据到业务中，先支撑起业务。然后在慢慢恢复数据，来缩短数据恢复而带来的系统停机时间。
通过海量的备份设备，磁带库，或者存储来搭建一个强大稳定的备份系统来对整体的业务数据进行周期性的备份来应对一些特殊行业所要求的数据保存一定时期的要求。专门用来数据的备查，归档。
观点3：
备份是为恢复做准备的，考量备份软件优劣还应有一个更重要的指标--恢复的可行性、便捷性、简单化大众化、完整及高效。
分享者：
潘延晟，现任吉林通钢自动化信息技术有限责任公司信息科副总工程师。有17年的系统集成与信息化运维的经验。
以及：王巧雷、baizhaoxian、大力水手、王天恩、去世的闲人、Henry2017、alphfa、zhutu、hufeng719，等等
更多交流探讨及相关主题文章，请点击阅读原文
长按二维码关注公众号